Het eclectisch kasteeltje Heizijde, met neorenaissance invloed, is gebouwd door de familie P. De Naeyer-Legin, oprichter van de lompenfabriek NV. P. F. De Naeyer, rond 1900 één van grootste van het Europese vasteland. In 1963 moest de fabriek definitief de deuren sluiten. In 1973 werd een deel van de fabrieksgebouwen gesloopt, de laatste gebouwen verdwenen in 1998.
Op een deel van het fabrieksterrein bouwde de familie P. De Naeyer-Legin in 1913 het huidig kasteel Heizijde naar plannen van aannemerarchitect Edmond Van den Heule, stichter en leraar aan de Vrije Vakschool. Later deed het kasteel dienst als feestzaal "Castel Heizijde". Vandaag is het kasteel Heizijde in privé-handen en niet toegankelijk voor publiek.